Năm 1923, ông trốn nhà để tham gia hoạt động chống Pháp, tham gia tổ chức Hội Phục Việt cùng với Trần Phú, Hà Huy Tập, Tôn Quang Phiệt, Đặng Thái Mai, Đào Duy Anh, Phan Đăng Lưu, Nguyễn Thị Minh Khai,... Năm 1926, ông tham gia Tân Việt Cách mạng Đảng. Năm 1927, ông ra Bắc Kỳ, phụ trách xây dựng Kỳ bộ Bắc Kỳ và Thành ủy Hà Nội của Tân Việt.[1] Năm 1929, ở Hà Nội, với tư cách là Bí thư Kỳ bộ Bắc Kỳ, ông tích cực tiến hành vận động Tân Việt cải tổ thành tổ chức cộng sản. Khi Đảng viên Võ Nguyên Giáp ra bắc, ông với Võ Nguyên Giáp đã bàn bạc và đề nghị lấy tên đảng mới là Tân Việt Cộng sản Đảng.[4]

Tháng 9 năm 1929, khi Tân Việt Cách mạng Đảng cải tổ thành Đông Dương Cộng sản Liên đoàn, ông tiếp tục hoạt động dưới danh nghĩa thành viên của tổ chức cộng sản mới.[1] Đầu năm 1930, Đông Dương Cộng sản Liên đoàn sáp nhập vào Đảng Cộng sản Việt Nam (từ tháng 10 đổi tên thành Đảng Cộng sản Đông Dương), ông tiếp tục hoạt động với tư cách Đảng viên Đảng Cộng sản.[3]

Ngày 31 tháng 3 năm 1931, ông bị thực dân Pháp bắt giữ ở Hải Phòng, áp giải về nhà tù Hỏa Lò. Ngày 25 tháng 12 năm 1932, ông cùng 6 người khác gồm Nguyễn Lương Bằng, Hào Lịch, Lê Đình Tuyển, Bùi Xuân Mẫn, Nguyễn Trọng Đàm và Võ Duy Cương tổ chức vượt ngục Hỏa Lò.[5] Sau khi vượt ngục, ông đổi tên thành Nguyễn Phủ Doãn để hoạt động bí mật. Vì thế ông còn được các đồng chí trong Đảng gọi là Tạo Doãn.[1] Trong thời gian này, ông hoạt động ở huyện Tiền Hải (Thái Bình), tiến hành vận động người dân khai hoang, lấn biển.[2][6]

Tháng 3 năm 1933, do bị thực dân truy bắt, Tạo Doãn cùng Lê Đình Tuyển phải trốn lên Phúc Yên, nương náu ở nhà địa chủ Đỗ Đình Thông ở Đa Phúc (nay là thôn Tân Yên, xã Hồng Kỳ, huyện Sóc Sơn, thành phố Hà Nội). Tại đây, hai ông đã thành lập Chi bộ Đảng do ông làm Bí thư, xuất bản báo Tia sáng (phát hành được 3 số). Chi bộ Đảng ở đây đã tiến hành mở rộng ra các tỉnh lân cận và bắt liên lạc với tổ chức Đảng ở Hà Nội.[1]

Tháng 9 năm 1933, ông bị lộ, phải rút về Thanh Hóa, giúp phục hồi Chi bộ Đảng ở tỉnh này và tiếp tục giữ liên lạc với Đảng bộ Hà Nội. Tháng 4 năm 1934, tổ chức Đảng ở nhà Đảng viên Hoàng Đình Dinh bị thực dân Pháp khám phá, nhiều Đảng viên bị bắt. Trong quá trình mở rộng điều tra của thực dân Pháp, ông bị bắt ở Thanh Hóa vào ngày 18 tháng 4, bị kết án tù hơn 25 năm.[1]

Tháng 11 năm 1941, ông bị đày đến Nhà ngục Đăk Mil, được các tù nhân cộng sản bầu làm Bí thư Chi bộ nhà tù (cũng là chi bộ đầu tiên của Đảng Cộng sản Đông Dương ở cao nguyên Mơ Nông), tổ chức vận động đấu tranh với cai ngục. Ngày 5 tháng 12 năm 1942, sau nhiều năm tù đày, ông cùng Trương Vân Lĩnh, Chu Huệ, Trần Doanh tổ chức vượt ngục thành công, vào Nghệ An hoạt động.[7][8][9] Năm 1945, ông tham gia Ủy ban Khởi nghĩa tỉnh Nghệ An. Ngày 21 tháng 8, quần chúng nhân dân vùng lên khởi nghĩa. Sau khi cướp được chính quyền ở tỉnh lỵ Vinh, ông được phân công phụ trách Ty trinh sát Nghệ An.[1]